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摘 要 : 由 于 大 多 数 手机 应 用 通过 HTTP 协议 进行 通信 ， 传 统 的 端口 识别 方法 已 经 基本 失效 。 另 外 ， 深 度 包 检测 和 基 
we 借鉴 计算 机 视觉 领域 的 优势 ， 提 出 了 一 种 基于 

视觉 感知 特征 的 手机 应 用 流量 识别 方法 。 首 先 ， 将 应 用 层 载荷 数据 转换 为 视觉 上 有 意义 的 图 像 ， 并 从 网 络 关 口 采集 真 

实数 据 ， 建 立 了 样本 数据 集 IMTD17; 然后 , 设计 了 具有 视觉 特征 提取 能 力 的 卷 积 感知 网 络 模型 2D-CPN， 利 用 卷 积 自 

编码 实现 了 对 大 量 无 标记 样本 的 学 习 ， 并 通过 多 类 型 回归 建立 起 从 隐 层 特征 到 应 用 类 型 的 映射 。 实 验 结果 表明 ， 该 方 

法 的 流量 识别 准确 率 满 足 实际 使 用 的 需求 。 
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Mobile app traffic identification based on visual perception features 


Li Ding, Zhu Yuefei, Lin Wei 
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Abstract: The mobile apps mostly communicate with servers via HTTP, which makes port-based method ineffective. 
Furthermore, depth packet inspection and flow-based classifiers have difficulties in designing features and labeling samples 
manually. Motivated by the excellence of computer vision, this paper proposed a method of mobile app traffic identification 
based on visual perception features. First, it converted the app traffic flows into vision-meaningful images. Collecting real traffic 
from the network gateway, it created the IMTD17 dataset. Then, it designed a two-dimensional convolutional perception network 
(2D-CPN) with the ability of visual feature extraction. The network realized the learning of massive unlabeled samples by the 
convolutional autoencoder, and used multi-class regression to create the mapping from the latent feature to the app categories. 
The experimental results show that the identification accuracy of the approach satisfies the practical requirement. 
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且 跟 上 手机 应 用 的 更 新 速度 是 非常 困难 而 且 耗 时 的 。 除 了 提取 
特征 的 困难 ， 流 量 识 别 面临 的 另 一 个 挑战 是 缺乏 有 效 的 数据 集 
流量 识别 (traffic identification) 是 将 网 络 流 量 映 射 到 网 络 B]。 由 于 网 络 数据 中 手机 应 用 流量 规模 庞大 ， 而 且 手 机 应 用 本 


协议 或 生成 应 用 的 过 程 ， 对 于 网 络 监管 和 恶意 应 用 发 现 具有 重 。 身 在 不 断 更 新 和 产生 ， 所 以 难以 保证 带 标 记 流 量 数 据 集 的 实时 
要 的 作用 。 传 统 的 流量 识别 主要 针对 桌面 应 用 (desktop ”性 和 有 效 性 。 因 此 ， 如 何 利用 网 络 中 大 量 的 无 标记 数据 是 流量 
application )， 如 商业 软件 、 恶 意 软件 等 。 其 网 络 通信 协议 一 般 。 识别 技术 发 展 的 关键 。 
基于 特定 端口 或 采用 含有 特征 字段 的 私有 协议 ， 因 此 ， 通 过 对 针对 上 述 两 个 挑战 ， 本 文 提出 了 一 种 基于 视觉 感知 特征 的 
应 用 层 协议 端口 号 等 协议 头 部 字段 进行 匹配 可 以 达到 较 好 的 流 ”流量 识别 深度 学 习 方 法 。 首 先 ， 利 用 深度 学 习 领域 图 像 识别 的 
量 识别 效果 。 思想 ， 将 手机 应 用 流量 转换 为 视觉 上 有 意义 的 图 像 ， 使 机 器 能 
与 桌面 应 用 不 同 ， 大 多 数 手机 应 用 (mobile app) 通过 统 够 按照 类 似 于 网 络 分 析 人 员 使 用 Wireshark 工具 的 方法 去 分 析 
AY HTTP 应 用 层 协议 与 服务 器 进行 通信 [023 ,导致 传统 基于 端口 流量 ， 然 后 ， 通 过 二 维 视觉 感知 网 络 2D-CPN 实现 对 大 量 无 标 
的 流量 识别 方法 基本 失效 。 为 了 识别 手机 应 用 流量 ， 一 些 研究 。” 记 网 络 流量 数据 的 特征 提取 ; 最 后 ， 通 过 对 多 类 型 回归 的 小 规 
者 试图 寻找 能 够 唯一 标志 应 用 的 指纹 信息 。 但 是 手机 流量 中 本 模 监 督学 习 ， 实 现 对 应 用 流量 的 准确 识别 。 另 外 ， 为 了 测试 模 


能 并 不 包含 这 种 特殊 的 特征 字段 ， 因 此 寻找 有 效 的 指纹 信息 型 的 性 能 ， 同 时 解决 数据 集 缺乏 的 难题 ， 本 文 建立 了 手机 应 ) 


基金 项 目 : 国家 自然 科学 基金 资助 项 目 (61271252); 国家 重点 研发 计划 资助 项 目 (2016YFB0801601) 
作者 简介 : 李 琳 (1992-)， 男 ， 河 南 郑州 人 ， 硕 士 ， 主 要 研究 方向 为 机 器 学 习 、 人 工 智 能 等 (258166011@qq.com); 祝 跃 飞 (1962-)， 男 ， 浙 江 杭 州 人 ， 
教授 ， 主 要 研究 方向 为 信息 安全 、 机 器 学 习 等 ; 林 伟 〈1986-)， 男 ， 湖 南 常 德 人 ， 讲 师 ， 主 要 研究 方向 为 信息 安全 、 大 数据 等 . 


201805.00033v1 


chinaXiv 


录用 稿 A oo, $: 基于 视觉 感知 特征 的 手机 应 用 流量 识别 方法 
流量 样本 数据 集 IMTD17。 机 器 识别 的 图 像 首先 是 视觉 可 识别 的 有 意义 的 图 像 ， 然 后 才能 
1 相关 工作 指导 机 器 按照 人 的 思路 去 学 习 更 多 的 图 像 。 但 是 网 络 数据 本 身 

具有 结构 化 的 特点 ， 其 数据 属性 和 字段 间 的 逻辑 关系 是 比较 固 


目前 已 经 有 很 多 关于 识别 手机 应 用 流量 的 工作 ， 其 中 最 直 ” 定 的 。 如 果 将 网 络 数据 直接 填充 为 图 像 ， 就 会 打破 原 有 的 结构 
woo HTTP 协议 中 的 特殊 字段 。Xu 等 人 欠 最 早 使 用 ”化 特点 ， 不 易 被 视觉 识别 ， 因 此 有 悖 于 计算 机 视觉 的 本 质 。 基 
User-Agent 字段 来 识别 安 卓 应 用 ， 但 是 该 字段 并 不 是 强制 加 入 ”于 这 个 动机 ， 本 文 尝试 对 网 络 流量 数据 进行 格式 化 (但 不 是 解 
应 用 标识 的 ， 而 且 手 机 应 用 开发 者 也 并 不 总 是 遵守 添加 User- ” 析 数 据 )， 然 后 将 其 转换 为 视觉 图 像 。 
Agent 字段 的 约定 。Dai 等 人 口 将 请 求 行 URL 和 host 字段 也 考 根据 RFC 2616 规范 ，HTTP 协议 由 起 始 行 、 若 干 头 域 和 正 
BEN, 并且 针 对 不 同 应 用 建立 了 对 应 的 指纹 。 Miskovic 等 人 XHAR. 假设 R 代表 请 求 行 ,5 代表 状态 行 , HREL, B 代 
中 提出 了 名 为 AppPrint 的 自动 化 特征 提取 系统 ， 能 够 从 HTTP REX, C 代表 回 车 换行 符 CRLF， 则 一 次 由 请 求 (Req) 和 应 
协议 中 综合 提取 URLs 和 各 个 头 域 特征 ， 如 User-Agent 和 答 (Res) 组 成 的 HITP 会 话 可 以 描述 为 

Cookies 等 ， 但 是 该 方法 的 识别 效果 依赖 于 人 工 指定 的 一 些 识 | 


Req =RC I (H reg@Q tra I C I Breq 


别 符 。 文 献 [7.8] 试 图 将 手机 应 用 的 HTTP 聚合 ， 认 为 手机 用 户 
的 一 次 操作 会 产生 多 个 HTTP 流 ， 如 浏览 网 页 、 打 开 图 片 或 视 
频 等 ， 并 且 这 些 数据 流 的 相关 性 主要 体现 在 数据 包 的 长 度 和 相 其中; | 是 字 节 连接 符 ，a 和 5 代表 对 应 消息 中 头 域 的 个 数 ; 
邻 数据 包 的 时 间 间 隔 。 尽 管 识别 手机 应 用 流量 已 经 有 了 很 多 成 (AC), =A CAC H.C 。 为 了 提取 有 效 的 HTTP 协议 


Res = SC ||(Hpes©)5 || C || Bres 


熟 的 方法 ， 但 是 这 些 方法 都 依赖 于 人 工 设计 的 特征 或 特征 寻找 字段 ， 对 各 个 部 分 的 有 效 性 进行 分 析 。 
方法 。 在 这 种 情况 下 ， 机 器 无 法 逾越 人 类 定义 的 识别 边界 ， 自 a) WRT R: 请求 消息 的 首 行 , AIS. URL 和 版 本 组 成 ， 
动 地 寻找 流量 数据 中 隐藏 的 未 知 特征 。 其 中 URL 与 应 用 的 具体 请 求 相 关 。 

近 几 年 来 ， 随 着 计算 机 视觉 等 领域 的 快速 发 展 ， 学 术 界 出 b) 状态 行 $， 应 答 消息 的 首 行 ， 只 包含 HTTP 状态 信息 ， 
现 了 一 些 基 于 深度 学 习 方法 的 流量 识别 技术 。Wang 中 最 早 使 用 因此 与 应 用 不 相关 。 
人 工 神经 网 络 (artificial neural network, ANN) 对 TCP 载荷 数 c) Kh A: 从 HTTP 请 求 和 应 答 消 息 的 第 二 行 开始 ， 其 类 
据 进 行 学 习 分 类 。 他 们 将 带 标记 的 TCP 会 话 的 前 1024 Byte 转 型 、 数 量 和 顺序 都 是 不 确定 的 。 通 过 大 量 分 析 发 现 ， 在 同一 手 


换 为 一 维 向 量 作为 ANN 模型 的 输入 ， 训 练 完成 后 发 现 最 重 机 应 用 通信 产生 的 HTTP 会 话 数据 中 ,五 的 数量 和 顺序 是 基本 
的 字 节 主 要 集中 在 开头 。 这 种 方法 的 局 限 性 在 于 依赖 于 固定 的 。 直 观 的 解释 是 : 对 于 手机 应 用 端 ， 只 要 是 公开 发 布 的 
协议 头 部 的 差异 ， 对 于 基于 同一 种 应 用 层 协 议 的 应 用 流量 难以 平台 版 本 , 其 程序 属性 由 开发 者 确定 ,因此 雹 的 特征 是 固定 的 ; 
区 分 ， 如 手机 应 用 使 用 的 HTTP 协议 。 文 献 [10] 借 鉴 了 计算 机 ”对 于 服务 器 端 ， 矿 的 特征 虽然 与 服务 器 平台 有 一 定 相关 性 ， 但 
视觉 的 方法 , 使 用 卷 积 神经 网 络 Cconvolutional neural network, 主要 由 应 用 开发 者 对 服务 器 的 配置 所 决定 ， 并 且 服 务 一 般 要 做 
CNN) 对 恶意 软件 流量 进行 分 类 。 首 先 将 数据 的 前 784 个 字 节 ” 到 版 本 向 下 兼容 ， 因 此 不 会 频繁 更 新 配置 或 加 入 新 的 特性 。 
转换 为 28x28 的 二 维 图 像 ,然后 使 用 CNN 进行 监督 分 类 学 习 。 d) EXB: 请 求 和 应 答 消 息 的 最 后 一 个 部 分 ， 其 数据 类 型 
在 选取 输入 数据 时 ， 该 方法 考虑 了 TCP 流 和 会 话 的 区 别 , 并 且 ”多 样 ， 并 且 是 可 选项 。 当 其 内 容 是 控制 信息 时 ， 与 应 用 的 行为 
通过 实验 发 现 包 含 传输 层 、 网 络 层 和 数据 链 路 层 头 部 数据 所 达 ”存在 一 定 联系 ;， 当 其 内 容 是 资源 数据 时 ， 可 以 认为 是 随机 的 ， 
到 的 分 类 效果 最 好 。 但 是 这 些 头 部 数据 的 格式 由 RFC 文档 定 。 因此 与 应 用 之 间 不 存在 紧密 的 相关 性 。 
义 , 字段 的 含义 是 固定 明确 的 , 通过 匹配 特定 协议 头 部 字段 (如 通过 上 述 分 析 ， 选 择 与 应 用 相关 的 R 和 万 作为 有 效 数 据 。 
TCP 协议 端口 、 标 志 位 等 ) 就 可 以 实现 精准 的 流量 识别 。 因此 ， 另外 , 为 了 保留 视觉 可 辨别 的 轮廓 信息 , 保留 换行 符 Co 因此 ， 
这 种 数据 提取 方法 实际 上 会 导致 信息 量 的 损失 。 此 外 ， 卷 积 
经 网 络 属于 监督 学 习 方 法 ， 因 此 同样 面临 难以 手工 标记 大 量 网 
络 数 据 样本 的 挑战 。 在 提取 的 数据 中 ， 行 数 和 每 行 的 字 节 长 度 是 不 确定 的 。1 

于 计算 机 视觉 接受 的 图 像 范 围 是 固定 的 ， 所 以 需要 对 提取 的 数 
据 进 行规 范 化 ， 填 充 或 舍弃 部 分 数据 ， 将 其 转换 为 可 作为 模型 
本 章 提 出 了 一 种 基于 视觉 感知 特征 的 网 络 流量 数据 图 像 转 ” 输入 的 样本 图 像 。 假 设 所 要 转换 的 目标 图 像 大 小 为 MxN o J 
换 方法 ， 并 基于 该 方法 建立 了 手机 应 用 流量 样本 图 像 数 据 集 了 得 到 图 像 的 一 行 数据 像素 点 ， 定 义 行 运算 P， 表 示 为 
IMTD7; 然后 提出 了 用 于 流量 识别 的 二 维 卷 积 感知 网 络 模型 

rant 
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最 终 提取 的 有 效 数据 为 RC| H reg a || Cll AresOrs 0 


2 ”方法 和 模型 
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2D-CPN， 并 详细 痔 述 了 模型 的 推导 过 程 。 
2.1 图 像 转 换 方法 
计算 机 视觉 领域 之 所 以 取得 优异 的 成 果 ， 一 个 重要 原因 
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EN n2N 


reat 


其 中 ，d 表示 长 度 为 n 字 节 的 数据 片段 ，0* 表示 个 NUL 
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字符 的 连接 。 为 了 得 到 完整 的 图 像 ， 定 义 列 运算 O, RRN 2.2 ” 卷 积 感知 网 络 模 型 


| OW -mn 针对 2.1 节 转 换 得 到 的 手机 应 用 流量 图 像 ， 本 文 设计 了 与 
e ,m< 
Q leim) -| j (2) ， 图像 尺寸 相 适应 的 二 维 卷 积 感知 网 络 模型 (2D convolutional 
„m> M 5 by te 
ĉrm a perception network, 2D-CPN), WR 2 所 示 。 该 模型 基于 卷 积 


其 中 :el 表示 行 数 为 m 行 的 二 维 图 像 数据 。 利 用 式 (D) 和 (2)， 自 编码 算法 [1 己 。 相 比 其 他 自 编码 算法 ， 卷 积 自 编码 能 够 提取 
可 以 将 提取 的 有 效 数据 转换 为 模型 输入 图 像 (image)， 表 示 为 。” 原始 输入 局 部 的 三 维特 征 ， 并 且 实 现 权 值 的 全 局 共享 ， 而 不 是 
将 所 有 特征 视 为 全 局 特征 。 卷 积 操作 保留 了 输入 图 像 数据 的 局 
部 相关 性 ， 将 空间 位 置信 息 转 换 为 高 阶 特征 表示 。 然 后 ， 利 用 
FF: P(A), = P(A,) || PŒ) PH); 名 是 长 度 为 0 的 。 多 层 感知 器 (multi-layer perceptron, MLP ) 的 非 线性 拟 合 能 力 ， 
数据 ,为 了 尽 可 能 保留 图 像 的 视觉 特征 ,尝试 了 多 种 图 像 尺寸， 将 这 些 高 阶 特征 转换 为 低 维 隐 层 特征 。 由 于 这 些 隐 层 特征 在 低 
并 确定 M=28，N=36。 图 1 展示 了 部 分 手机 应 用 流量 的 图 像样 维 空间 有 具有 可 分 辨 的 距离 关系 ， 通 过 Softmax 多 类 型 回归 可 以 
本 ， 其 中 每 种 应 用 随机 选取 4 次 通信 产生 的 样本 。 可 以 看 出 ， 将 它们 映射 到 对 应 的 类 型 ， 从 而 实现 对 样本 类 型 的 识别 。 

同一 应 用 的 不 同 流量 样本 图 像 具 有 高 度 的 一 致 性 ， 而 不 同 应 用 
之 间 的 流量 样本 图 像 存在 很 高 的 差异 度 。 因 此 ， 将 该 转换 方法 
获得 的 图 像 作 为 流量 识别 模型 的 输入 是 合理 的 。 
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i loco : A 
图 1 手机 应 用 流量 样本 图 像 Deconv3 
y I 
基于 图 像 转 换 方法 ， 本 文 建立 了 IMTD17 数据 集 。 首先 ， xs eS E i | 
从 校园 网 关口 获取 流量 数据 ， 其 中 手机 应 用 流量 通过 连 入 Wi- X3 
Fi 的 智能 手机 产生 ， 然 后， 按照 四 元 组 〈 源 耳 、 源 端口 、 目 的 i 256 会 256 
D 4 
IP、 目 的 端口 ) 提 取 TCP 载荷 , 并 得 到 原始 HTTP 会 话 .IMTD17 -A i T f=- 
三 个 部 分 组 成 ， 如 表 1 所 示 。 第 一 部 分 用 于 第 一 阶段 (S1) 
ewer ee À E AA AA AA 
监督 训练 ， 由 大 量 无 标记 的 样本 组 成 ， 其 中 包括 少量 手机 应 oc 
用 流量 样本 图 像 CAPP) 和 大 量 无 关 的 背景 流量 样本 图 像 (BG); 2,7 | 
第 二 部 分 用 于 第 二 阶段 (So) 监督 分 类 训练 ， 是 从 第 一 部 分 中 he jhe h 
抽取 的 少量 人 工 标记 的 手机 应 用 流量 样本 ， 共 包括 12 种 分 别 ee oe: MEP-Decoder 
以 0~11 标记 的 Android 应 用 流量 样本 ,如 表 3 所 示 ; 第 三 部 分 E 
E = 8 Co S J2 ”二 维 卷 积 感知 网 络 模型 2D-CPN 
用 于 模型 测试 CT)， 由 带 标记 的 样本 组 成 ， 成 分 与 第 一 部 分 相 


Wh, 其 中 只 有 第 二 部 分 对 应 的 12 个 类 别 样本 带 有 真实 标记 ,其 在 2D-CPN 模型 中 , 识别 网 络 (recognizer) 首先 将 原始 28 
余 背 景 流量 样本 的 标记 值 为 12。 X36 的 图 像样 本 x 转换 为 高 阶 特征 x4 ， 通 过 MLP 编码 网 络 
表 1 IMTD17 包含 的 数据 集 (MLP-encoder) 的 非 线 性 拟 合 ， 高 阶 特征 x, 被 转换 为 隐 层 特 

Dataset Labeled BG APP 征 zo 在 重建 样本 阶段 ， 隐 层 特征 z 通 过 MLP 解码 网 络 (MLP- 

S, No 45000 5000 decoder) PERII MRE R ， 然 后 生成 网 络 〈generator ) 

S> Yes O 1000 将 高 阶 特征 % 转换 为 重建 后 的 图 像样 本 文 。 其 中 ， 识 别 网 络 中 

T Yes 9000 1000 的 卷 积 组 操作 〈conv) 负责 分 解 特征 图 ， 生 成 网 络 中 的 反 卷 积 

组 操作 〈deconv) 负责 重组 特征 图 。 这 两 种 操作 中 涉及 到 的 运 
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算 函 数 及 其 具体 参数 如 图 3 所 示 。 为 了 重建 图 像样 本 ， 卷 积 操 
作 不 应 当 衰 减 原始 图 像 信息 。 然 而 基本 的 卷 积 操作 忽视 了 图 像 
的 边缘 特征 ， 根 据 卷 积 核 的 尺寸 ， 使 输出 特征 图 的 尺寸 相 比 输 
入 图 像 有 所 减少 。 因 此 ， 需 要 在 基本 卷 积 操作 之 前 加 入 适当 的 
填充 操作 。 


Deconv 


Corpping(h, w) 
Deconvolution(k,, ky) 
Upsampling(s,, sy) 


Conv 


Padding(h, w) 
Convolution(k,, ky) 
Subsampling(s,, sy) 


\ 


图 3 2D-CPN 模型 中 的 两 种 基本 操作 


a) Padding 函数 : 负责 在 输入 图 像 的 四 周 进行 适当 填充 
(padding)， 以 扩大 图 像 的 尺寸 。 具 体 做 法 是 根据 参数 h, w) ， 
在 输入 图 像 的 纵向 和 横向 上 分 别 填充 对 称 的 行 和 w 列 内 容 为 
0 的 数据 。 假 设 7 和 O 分 别 代表 输入 和 输出 图 像 ， 并 日 
尺寸 表示 为 (五 ,W) ， 那 么 经 过 padding 填充 后 ， 输 出 图 像 的 尺 
寸 变 为 =H, +2h, Wy =W,+2w. 

b) Convolution 函数 : 在 二 维 离散 空间 中 ， 基 本 的 卷 积 
(Convolution) 操作 O = K *I ADAGE SN 


其 高 宽 


oi D= og, TKD O 


其 中 :下 是 大 小 为 (大 ) 的 卷 积 核 , 为 了 满足 卷 积 运算 的 特点 ， 


k Ak, 都 是 奇数 。 经 过 卷 积 运算 后 ， 输 出 特征 图 的 尺寸 变 为 


Hy =H, -(k,-1), Wọ =W, -(k, -l). At padding 函数 填 


充 之 后 ， 卷 积 运算 可 以 产生 与 输入 特征 图 尺寸 相同 的 输出 。 对 


于 图 2 识别 网 络 的 第 7 层 ,假设 x = fx ,xs 是 1-1 


层 中 由 M 个 特征 图 组 成 的 输入 ， K, = {K ,天 ,天 } 是 N 个 


卷 积 核 ，b, = { 思 ,及 .5 } 是 与 卷 积 核对 应 的 偏 置 值 ， 那 么 输 


出 特征 图 x, = {x xy， x } 可 以 由 以 下 运算 得 到 


n M n m n 
x, =. 天 (7 Ky * xa +87) (4) 


其 中 : .和 是 激活 函数 ， 这 里 使 用 修正 线性 单元 CReLU) 来 加 
速 训练 时 的 收敛 过 程 ， 同 时 可 以 避免 可 能 的 预 训练 (31。 
c) Subsampling 函数 : 下 采样 (subsampling) 函数 也 称 为 池 
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化 操作 , 可 以 减少 输入 特征 图 中 的 元 余 信息 ,提取 出 高 阶 表征 。 


对 于 给 定 的 水 平和 竖 直 参数 (s,s,) ,下 采样 函数 同时 在 两 个 方 


向 上 缩减 数据 ， 得 到 的 输出 特征 图 尺寸 为 Ho = Hj +s, 


Wo =W, +5, 0 
通过 上 述 推导 ， 图 2 识别 网 络 中 的 一 次 卷 积 组 操作 产生 的 
特征 图 尺寸 为 


区 =(H, +2h-(k, -D)+s, " 


Wo =(W, +2w-(k,-D) +5, 


d) Upsampling 函数 : 为 了 重建 卷 积 组 操作 前 的 特征 图 ， 从 
而 最 终 得 到 重建 后 的 输入 样本 。 图 2 生成 网 络 中 的 反 卷 积 组 操 
作 首 先进 行 下 采样 函数 的 逆 过 程 , 即 上 采样 (upsampling ) 操 作 。 
于 subsampling 是 一 种 数据 损失 的 过 程 ，upsampling 函数 要 
尽 可 能 地 恢复 采样 前 的 数据 ， 所 以 这 里 不 对 池 化 后 数据 进行 简 
单 的 重复 扩展 操作 ， 而 使 用 “what and “where”” 反 池 化 技术 [4 
来 同时 恢复 池 化 前 的 位 置 和 数值 信息 。 对 于 给 定 的 水 平和 竖 直 


参数 (s,s,) ， 上 采样 函数 同时 在 两 个 方向 上 扩展 数据 , 得 到 的 


输出 特征 图 尺寸 为 Ho = Hj xs,，W, =W, xs, o 


e) Deconvolution 函数 : 反 卷 积 〈deconvolution ) 也 称 为 转 


置 卷 积 , 可 以 看 做 卷 积 操 作 的 相反 过 程 03。 对 于 大 小 为 (ce 大 ) 


的 反 卷 积 核 玉 ， 反 卷 积 操作 得 到 的 特征 图 尺寸 会 增加 ， 即 


Ho =H, +(k,-D, Wo=W, +(k, 一。 对 于 图 2 生成 网 络 的 


第 1 层 ， 假 设 高 = (Ry Kee RM 是 1+1 层 中 由 M 个 特征 
图 组 成 的 输入 ， 慷 , = { 太 !, 前 ,.…, KN) 是 N 个 反 卷 积 核 ， 


Ê, = (61,62, 6N) 是 与 反 卷 积 核对 应 的 仿 置 值 ， 并 且 激活 函数 


仍然 选择 修正 线性 单元 ReLU， 那 么 ， 


输出 特征 图 


人 = (RY) ADA ED BS SS 
an M 5n am nn 
xX = F a (K, yy *X +5, ) (6) 


f) Cropping 函数 : (FAY padding 函数 的 逆 运 算 , cropping 函 
数 的 作用 是 对 输入 图 像 的 边缘 进行 适当 的 裁剪 。 具 体 的 做 法 
根据 参数 (h,w) ， 对 输入 图 像 的 纵向 和 横向 分 别 裁剪 对 称 的 
47 Al w 列 数据 。 经 过 cropping 函数 裁剪 后 ， 输 出 图 像 的 尺寸 
Ho =H,-2h, Wy =W,-2w. 
通过 上 述 推导 ， 图 2 生成 网 络 中 的 一 次 反 卷 积 组 操作 产生 
的 特征 图 尺寸 为 


> ff 


iit 
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i /7 方法 初 蛤 化 ， 使 各 层 输 出 的 方差 尽 可 能 相等 09。 为 了 通过 反 向 
Wo =W, xs, + (ks —D) -2w 传播 算法 得 到 良好 的 参数 ， 训 练 时 重建 模型 使 用 交叉 灶 作 为 损 


图 2 生成 网 络 将 原始 图 像 x 转换 为 具有 良好 表示 的 高 阶 特 失 函数 ， 即 
征 x4 。 为 了 实现 分 类 识别 ， 使 用 MLP 对 高 阶 特征 进行 非 线 性 
拟 合 ， 从 而 得 到 从 高 阶 特征 到 隐 层 特征 z 的 映射 。 对 于 图 2 中 


C(x) =-> O (x, log &, +(x, )log(1—%,)) (12) 


的 MLP 编码 网 络 和 解码 网 络 ， 其 第 1 层 可 以 分 别 表示 为 同时 ， 各 卷 积 核 、 多 层 感 知 器 权重 和 偏 置 值 通过 反 向 传播 
h, =. 民 (Why ,+b,) (8) ”算法 进行 修正 。 在 监督 训练 阶段 ， 分 类 模型 通过 标记 数据 集 S2 


建立 从 隐 层 特征 z 到 特定 类 别 的 映射 。 训 练 时 ， 分 类 模型 使 用 

BINS LIGA HBL BM 

其 中 : WA b RRA AE: A 是 各 层 的 激活 GO) Ty ogg +(1—y, log $9) (13) 

函数 ， 这 里 使 用 softplus 以 更 好 地 将 高 阶 特征 均匀 映射 到 隐 层 Ue ‘ ‘ | ‘ 

空间 (I。 假 设 多 层 感 知 器 的 层 数 为 p GHA S p=2 以 避免 过 拟 HoP: y 为 one-hot 编码 的 类 型 向 量 和 矩阵 ;了 为 Softmax 层 节点 

合 现象 L1)， 那 么 隐 层 特征 z 通 过 MLP 编码 网 络 得 到 ， 即 输出 向 量 和 矩阵。 值得 注意 的 是 ， 实 际 网 络 中 大 多 数 流量 数据 都 
是 未 知 类 别 的 背景 流量 。 然 而 softmax 层 输 出 的 类 型 结果 具有 
明显 的 边界 限制 ， 即 dim(y)。 如 果 只 根据 输出 的 可 信 值 进行 分 

当 进 行 分 类 识别 时 ， 模 型 通过 多 类 型 回归 softmax 函数 将 类 ， 就 会 产生 很 多 错误 的 分 类 结 Alt, xX} softmax 层 输出 

隐 层 特征 z 映射 到 某 个 输出 类 别 。Softmax 层 节 点 的 输出 值 表 ”结果 加 入 阐 值 条 件 ， 只 有 当 可 信 值 大 于 对 应 闵 值 时 ， 该 样本 才 


h, =7(Wh,,, +5,) (9) 


z=Wh, +b, (10) 


示 原 始 输入 样本 属于 对 应 类 型 的 可 信 度 ， 即 认为 属于 对 应 类 型 。 
Pg), =e /YD e*) a) 3 ”实验 及 分 析 


模型 涉及 的 训练 和 测试 过 程 如 图 4 所 示 。 在 正式 训练 之 前 ， 本 章 通 过 对 2D-CPN 模型 的 训练 和 测试 过 程 进行 实验 与 分 
图 4(a) 和 (b) 两 个 预 训练 过 程 可 以 帮助 更 加 快速 准确 地 提取 隐 层 析 ， 首 先 验证 模型 提取 样本 隐 层 特征 的 能 力 ， 然 后 利用 测试 数 
特征 z。 正 式 训 练 过 程 由 图 4(c) 无 监督 重建 模型 (reconstructor) 据 集 测试 模型 识别 流量 的 性 能 。 

训练 和 (d) 监 督 分 类 模型 (categorizer) 训练 两 个 阶段 组 成 。 其 中 ， 3.1 隐 层 特征 可 视 化 


>H 


E 


前 一 阶段 类 似 于 婴儿 观察 客观 世界 的 过 程 ， 它 们 通过 观察 能 为 了 说 明 利用 隐 层 特征 可 以 进行 分 类 识别 ， 从 而 实现 对 产 
区 分 不 同类 别 的 事物 ， 但 是 不 知道 具体 是 什么 事物 ， 而 后 一 阶 。” 生 流量 应 用 的 识别 ， 在 二 维 空间 对 隐 层 特征 进行 可 视 化 。 具 体 
段 相当 于 教导 婴儿 他 们 所 区 分 的 事物 是 什么 。 的 做 法 是 : 首先 降低 隐 层 空间 的 维度 ， 令 dim(z)=2， 使 隐 层 特 


征 被 映射 到 平面 上 的 点 ， 然 后 重新 训练 图 4(c) 重 建 模型 ， 建 立 


| 从 输入 图 像样 本 x 到 二 维 隐 层 特征 z 的 映射 ， 训练 完成 后 ， 使 
Conv Deconv 

Recognizer P| Generator 用 包含 应 用 流量 和 大 量 背景 流量 的 测试 数据 集 T 作 为 重建 模型 
8 加 of Recognizerand ee 一 二 的 输入 ， 得 到 隐 层 特征 z 最 后 将 数据 集 T 中 样本 的 标记 值 y 


Sı = cp CK 3) 与 隐 层 特征 z 相对 应 ， 以 隐 层 特征 z 的 二 维 数值 作为 
Conv a E> MLP LL ESS Deconv |_| 加 、 
Recognizer | Encoder kd 平面 的 坐标 点 ， 绘 制 应 用 流量 和 背景 流量 样本 的 位 置 ， 如 图 5 


ER E (OT Tne MES i aaan 所 示 。 为 了 方便 区 分 ， 不 同 的 应 用 流量 样本 点 使 用 不 同 的 形状 


n : 
TO 表示 ， 背 景 流量 样本 点 使 用 小 圆圈 表示 。 
Conv => = MLP Deconv 
Recognizer Encoder Decoder >) Generator 


30 
(c) Unsupervised Training of Reconstructor | Labels 
BOF 本 oA 
20 4 lv 
S Z 

A Conv MLP Softmax 104 24 
Recognizer Encoder Regression a 
(d) Supervised Training of Categorizer = 04 |5@ 
a | 6 会 

N | 
Conv Softmax 104 7@ 
Recognizer Encoder Regression | 8 @ 
-20 4 9 中 
(e) Testing of Categorizer 一 | 10 % 
ll ¥& 
图 4 2D-CPN 模型 的 训练 和 测试 过 程 | = 

-20 -10 0 10 20 30 
Z(axis 0) 


在 无 监督 训练 阶段 , 重建 模型 从 无 标记 数据 集 Si 中 提取 隐 
层 特 征 zo 训练 开始 前 , 各 卷 积 核 和 多 层 感知 器 权重 使 用 Xavier 


图 5 数据 集 T 中 样本 在 二 维 隐 层 特征 分 布 
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从 图 中 可 以 看 出 ， 同 一 类 样本 的 隐 层 特征 非常 集中 ， 说 明 
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表 3 各 类 型 手机 应 


标记 及 识别 结果 


模型 提取 的 隐 层 特征 具有 高 度 的 统一 性 ， 不 同类 别 样本 的 隐 层 a a ne eae 
特征 之 间 具 有 足够 的 区 分 距离 ， 说 明 模型 提取 的 隐 层 特征 具有 i ses a Oo. A 
高 度 的 区 分 性 。 另 外 ， 背 景 流量 样本 均匀 地 分 布 在 坐标 原点 附 ik Bee GOH. G. So desc 
近 ， 值 得 关注 的 是 其 中 一 些 集中 的 样本 点 ， 它 们 很 有 可 能 属于 a Sanae e ooe oi 
同一 种 流量 类 别 。 因 此 ， 这 种 方法 能 够 帮助 人 们 发 现 未 知 类 别 ee ee ee 
的 应 用 流量 。 通 过 二 维 可 视 化 分 析 ， 可 以 对 隐 层 特征 的 表示 能 a a ea e 
力 进行 合理 的 推断 ， 随 着 隐 层 空间 维度 的 增加 ， 不 同类 别 样本 i ee 
的 隐 层 特征 之 间 的 空间 距离 进一步 扩大 ， 从 而 隐 层 特征 的 样本 
表示 能 力 进一步 增强 。 
Wi 4 ”结束 语 
3.2 流量 识别 
图 4(e) 的 流量 识别 过 程 基于 训练 好 的 分 类 器 ， 通 过 测试 数 本 文 提 出 了 一 种 基于 视觉 感知 特征 的 手机 应 用 流量 识别 方 
据 集 T 测试 模型 的 识别 效果 。 分 类 模型 的 识别 结果 通过 准确 率 法。 借鉴 计算 机 视觉 的 优势 ， 将 原始 应 用 层 载 荷 数据 转换 为 视 
C4cc)、 精 确 率 Pre) MEER Rec) 这 三 个 评价 标准 来 进 ” 觉 上 有 意义 的 图 像 。 同 时 ， 利 用 卷 积 自 编码 算法 的 视觉 特征 提 
行 评估 ， 分 别 表示 为 取 能 力 ， 保 留 了 输入 图 像 的 局 部 相关 性 ， 实 现 特征 权 值 的 全 局 
a Lae, BU, PUES BURR Ke SCHL TIKEL CARK A 
Acc = TPsIN+FP1FN * 100% (14) 、 es 
动 学 习 以 及 监督 下 的 流量 识别 。 结 果 表 明 ， 模 型 对 流量 样本 有 
ip 很 好 的 适应 性 ， 识 别 精确 度 达 到 了 实际 使 用 的 需求 。 
Pre= Ei * 100% (15) 
参考 文献 : 
Rec = ax * 100% (16) 


其 中 : 了 和 下 分 别 代表 正确 和 错误 的 分 类 数 ; PRN 分 别 代表 


未 知 背 景 流量 


正 实例 和 负 实 例 数 ， 分 别 对 应 本 文中 的 手机 应 ) 


流量 样本 数 和 


样本 数 。 在 这 些 评价 指标 中 ， 准 确 率 反 映 模型 总 
体 分 类 性 能 ， 精 确 率 是 针对 预测 结果 而 言 的 ， 表 示 预 测 为 正 的 


样本 中 有 多 少 是 真正 的 正 样 本 ;， 查 全 率 是 针对 原来 的 样本 而 


ll 


的 ， 表 示 样 本 中 的 正 例 有 多 少 被 正确 预测 了 。 
当 各 类 别 的 阐 值 达到 最 佳 赚 值 时 ,流量 识别 结果 达到 最 优 ， 
如 表 2 所 示 。 可 以 看 出 ， 虽 然 识别 的 正确 率 和 准确 率 较 高 ， 但 


FE 


是 由 于 一 些 混淆 背景 流量 的 存在 ， 导 致 查 全 率 较 低 。 


表 2 模型 对 数据 集 T 的 识别 结 


Metric Acc Pre Rec 


Value 99.5 100 95.4 


为 了 找 出 具体 是 哪些 背景 流量 影响 识别 结果 ， 从 而 对 这 些 


影响 因素 做 进 


个 


步 研究 ， 分 别 列 出 每 个 类 别 手机 应 | 


的 识别 结 


果 《〈 在 这 种 情况 下 ， 负 样本 数 V 代表 背景 流量 样本 数 加 上 无 关 


手机 应 | 


流量 样本 数 ), WK 3 所 示 。 识 别 结果 中 只 有 个 别 应 用 
的 查 全 率 较 低 ， 如 QQ Mail 和 WeChat, 说 明 一 些 背 景 流量 图 像 


与 这 些 应 用 流 


有 


量 图 像 非 常 相似 ， 


隐 层 特征 的 识别 边界 。 然 


且 进 入 了 这 些 应 用 流量 样本 
而 从 这 些 错误 的 识别 结果 中 可 以 获得 


借鉴 意义 的 指导 ， 一 方面 ， 这 些 结果 可 以 帮助 人 们 检查 手工 
标记 是 否 正确 ， 另 一 方面 
量 类 型 ， 从 而 帮助 人 们 实现 更 加 智能 的 流量 识别 。 


自动 化 地 发 现 未 知 流 


这 种 方法 可 以 
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